Ngày xuất bản: 14 tháng 5 năm 2024, Ngày cập nhật gần đây nhất: 20 tháng 5 năm 2024
Chúng tôi đang phát triển API nền tảng web và các tính năng trình duyệt được thiết kế để hoạt động với các mô hình AI, mô hình chuyên gia và mô hình ngôn ngữ lớn (LLM) được tích hợp trong trình duyệt. Trong đó có Gemini Nano, phiên bản hiệu quả nhất của gia đình LLM Gemini, được thiết kế để chạy cục bộ trên hầu hết các máy tính để bàn và máy tính xách tay hiện đại. Với AI tích hợp, trang web hoặc ứng dụng web của bạn có thể thực hiện các tác vụ dựa trên AI mà không cần triển khai, quản lý hoặc tự lưu trữ các mô hình AI.
Khám phá các lợi ích của AI tích hợp, kế hoạch triển khai của chúng tôi và cách bạn có thể tận dụng công nghệ này.
Lợi ích của AI tích hợp cho nhà phát triển web
Với AI tích hợp, trình duyệt của bạn sẽ cung cấp và quản lý nền tảng cũng như các mô hình chuyên gia.
AI tích hợp mang lại những lợi ích sau:
- Dễ triển khai: Trình duyệt phân phối các mô hình, tính đến khả năng của thiết bị và quản lý các bản cập nhật. Điều này có nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không cần phải giải quyết vấn đề về việc xoá bộ nhớ, hạn mức bộ nhớ trong thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Thời gian chạy AI của trình duyệt được tối ưu hoá để khai thác tối đa phần cứng có sẵn, cho dù là GPU, NPU hay quay lại CPU. Do đó, ứng dụng của bạn có thể đạt được hiệu suất tốt nhất trên từng thiết bị.
Lợi ích của việc chạy phía máy khách
Với AI tích hợp, bạn có thể thực hiện AI ở phía máy khách, nghĩa là bạn sẽ nhận được những lợi ích sau:
- Xử lý dữ liệu nhạy cảm trên thiết bị: AI phía máy khách có thể cải thiện vấn đề quyền riêng tư của bạn. Ví dụ: nếu làm việc với dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng nhanh chóng: Trong một số trường hợp, việc bỏ qua lượt truy cập hai chiều đến máy chủ có nghĩa là bạn có thể cung cấp kết quả gần như tức thì. AI phía máy khách có thể là sự khác biệt giữa một tính năng khả thi và trải nghiệm người dùng chưa tối ưu.
- Có nhiều quyền truy cập hơn vào AI: Thiết bị của người dùng có thể gánh một phần tải xử lý để đổi lấy quyền truy cập nhiều hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI nâng cao, bạn có thể xem trước các tính năng này bằng AI phía máy khách để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà không tốn thêm chi phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt là trên các luồng người dùng thường dùng.
- Sử dụng AI khi không có mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như mong đợi khi không có kết nối mạng hoặc khi có kết nối mạng không ổn định.
AI kết hợp: Phía máy khách và phía máy chủ
Mặc dù AI phía máy khách có thể xử lý nhiều trường hợp sử dụng, nhưng một số trường hợp sử dụng lại yêu cầu hỗ trợ phía máy chủ. AI phía máy chủ là một lựa chọn tuyệt vời cho các mô hình lớn và có thể hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể cân nhắc phương pháp kết hợp nếu ứng dụng của bạn yêu cầu:
- Mức độ phức tạp: Các trường hợp sử dụng cụ thể, dễ tiếp cận sẽ dễ được hỗ trợ hơn bằng AI trên thiết bị. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc triển khai phía máy chủ.
- Khả năng phục hồi: Sử dụng phía máy chủ theo mặc định và sử dụng trên thiết bị khi thiết bị không có kết nối mạng hoặc có kết nối không ổn định.
- Phương án dự phòng linh hoạt: Việc sử dụng trình duyệt tích hợp AI sẽ mất thời gian, một số mô hình có thể không hoạt động và các thiết bị cũ hoặc kém mạnh có thể không đáp ứng các yêu cầu về phần cứng để chạy tất cả mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Ví dụ: nếu bạn sử dụng Prompt API tích hợp (sắp có bản dùng thử gốc), API này sẽ chỉ hoạt động với trình duyệt Chrome trên máy tính và trong Tiện ích Chrome, trên Windows, macOS và Linux. Để đảm bảo tất cả người dùng đều có thể hưởng lợi từ tính năng AI, hãy thiết lập một cấu trúc kết hợp bằng Logic AI của Firebase.
Khi sử dụng các mô hình Gemini, bạn có thể tích hợp phần phụ trợ với Node.js.
Sử dụng AI tích hợp sẵn
Bạn có thể truy cập vào các tính năng AI tích hợp chủ yếu bằng API tác vụ, chẳng hạn như API Dịch hoặc API Tóm tắt. API tác vụ được thiết kế để chạy suy luận dựa trên mô hình tốt nhất cho bài tập.
Trong Chrome, các API này được xây dựng để chạy suy luận dựa trên Gemini Nano bằng cách điều chỉnh chi tiết hoặc mô hình chuyên gia. Được thiết kế để chạy cục bộ trên hầu hết các thiết bị hiện đại, Gemini Nano phù hợp nhất với các trường hợp sử dụng liên quan đến ngôn ngữ, chẳng hạn như tóm tắt, diễn đạt lại hoặc phân loại.
Trường hợp nên sử dụng AI tích hợp
Sau đây là một số cách mà AI tích hợp có thể mang lại lợi ích cho bạn và người dùng:
- Trải nghiệm tiêu thụ nội dung được AI nâng cao: Bao gồm tính năng tóm tắt, dịch, phân loại, mô tả và cung cấp kiến thức.
- Tạo nội dung có sự hỗ trợ của AI: Chẳng hạn như trợ giúp viết lách, hiệu đính, sửa lỗi ngữ pháp và diễn đạt lại.
Một số API AI tích hợp có trong phiên bản thử nghiệm theo nguyên gốc và phiên bản ổn định của Chrome. Những người tham gia Chương trình xem trước sớm (EPP) có thể sử dụng API khám phá và API giai đoạn đầu.
Xem trước tính năng mới
Chúng tôi cần ý kiến đóng góp của bạn để định hình các API, đảm bảo các API đó đáp ứng các trường hợp sử dụng của bạn và thông báo cho các cuộc thảo luận của chúng tôi với các nhà cung cấp trình duyệt khác để chuẩn hoá.
Tham gia EPP để đưa ra ý kiến phản hồi về các ý tưởng AI tích hợp ở giai đoạn đầu và khám phá cơ hội thử nghiệm các API đang trong quá trình phát triển thông qua việc tạo nguyên mẫu cục bộ.